Marathoner: Ultra-Long-Horizon Autonomous Intelligence
马拉松者:超长程自主智能体
🧭 超长程自主编码 Agent 后训练 ★ 深度解读
University of Macau · Peking University · Ant Group
从 GitHub PR 自动合成任务、拒绝采样蒸馏与 GRPO+后期奖励,让 9B 开源模型具备 10+ 小时执行能力
📌 工作参考价值(4 点)
- 任务数据合成:从业务系统(推荐服务代码库、数据管道、广告投放平台)的 commit/PR 自动构造带单元测试验证的长程 Agent 任务;电商搜索推荐团队可基于历史工单、A/B 实验变更生成环境+指令+验收测试三元组,低成本扩充训练数据。
- 后期阶段奖励:在对话式推荐/导购 Agent 中用 LLM 判断会话后半段是否有高价值动作(如用户改变偏好后的有效重新推荐、复杂比价后的正确总结),给予额外奖励,防止模型在长交互中过早收尾或重复无效询问。
- 多样 harness 训练避免过拟合:针对 Agent 可能接入的不同执行环境(推荐 API、页面布局、工具集),在 RL 训练时轮换多种 harness,可提高跨场景泛化,与多环境交互评分/模拟器训练思路一致。
- 拒绝采样蒸馏:先用闭源大模型在真实任务上生成成功轨迹,仅保留 reward=1 样本对开源小模型做 SFT 初始化,再进入 RL 微调;适用于电商客服、导购 Agent 等需要长程规划的场景,降低对高质量标注轨迹的依赖。